Vùng Đất huyện Kỳ Sơn cùng với huyện Tương Dương ở phía đông xưa kia là lãnh thổ của Vương quốc Bồn Man (vương quốc này nằm trải dài phía tây các tỉnh Nghệ An, Thanh Hóa, một phần Sơn La ngày nay của Việt Nam và tỉnh Hủa Phăn của Lào ngày nay). Vương quốc này chính thức bị sáp nhập vào Đại Việt thời vua Lê Thánh Tông (1479).

Năm 1490, thời nhà Hậu Lê, huyện Kỳ Sơn thuộc phủ Trà Lân, xứ Nghệ An.

Thời nhà Nguyễn, huyện Kỳ Sơn thuộc phủ Tương Dương, tỉnh Nghệ An.

Tháng 10 năm 1961, trước yêu cầu của công tác chỉ đạo thực tiễn ở miền núi, căn cứ vào tình hình từng vùng, tỉnh Nghệ An quyết định tách huyện Tương Dương thành 2 huyện Tương Dương và Kỳ Sơn.

Khi tách ra, huyện Kỳ Sơn có 12 xã: Bắc Lý, Bảo Nam, Bảo Thắng, Hín Ngộn, Huồi Giàng, Huồi Tụ, Hữu Kiệm, Mường Lống, Mường Típ, Mỹ Lý, Nậm Cắn, Phà Đánh.

Ngày 5 tháng 7 năm 1963, Bộ trưởng Bộ Nội vụ ra Quyết định số 125-NV thành lập 6 xã: Tà Cạ, Keng Đu, Na Loi, Bảo Lộc, Thiên Lý, Hữu Lập.

Ngày 15 tháng 4 năm 1967, Bộ trưởng Bộ Nội vụ ra Quyết định số 142-NV thành lập 6 xã: Nậm Càn, Đoọc Mạy, Na Ngoi, Mường Ải, Huồi Thắng, Mường Thù.

Ngày 27 tháng 12 năm 1975, hai tỉnh Nghệ An và Hà Tĩnh hợp nhất thành tỉnh Nghệ Tĩnh, huyện Kỳ Sơn thuộc tỉnh Nghệ Tĩnh.

Ngày 23 tháng 3 năm 1977, Bộ trưởng Phủ Thủ tướng ra Quyết định số 56-BT hợp nhất và điều chỉnh địa giới một số xã thuộc tỉnh Nghệ Tĩnh. Theo đó, sáp nhập bản Noọng Ó và bản Huồi Lào của xã Bảo Nam vào xã Phà Đánh; hợp nhất xã Bảo Nam và xã Bảo Lộc thành một xã lấy tên là xã Bảo Nam; sáp nhập bản Cha Nga và bản Piêng Píp của xã Thiên Lý vào xã Mỹ Lý; hợp nhất các bản còn lại của xã Thiên Lý và xã Bắc Lý thành một xã lấy tên là xã Bắc Lý; hợp nhất xã Hữu Lập và xã Hữu Kiệm thành một xã lấy tên là xã Hữu Kiệm; hợp nhất xã Mường Ải và xã Mường Típ thành một xã lấy tên là xã Mường Típ; hợp nhất xã Huồi Thắng và xã Huồi Tụ thành một xã lấy tên là xã Huồi Tụ; hợp nhất xã Mường Thù và xã Mường Lồng thành một xã lấy tên là xã Mường Lống.[2]

Ngày 26 tháng 3 năm 1977, Hội đồng Chính phủ ra Quyết định 78-CP chuyển xã Chiêu Lưu thuộc huyện Tương Dương về huyện Kỳ Sơn quản lý.[3]

Ngày 8 tháng 8 năm 1984, Hội đồng Bộ trưởng ban hành Quyết định 104-HĐBT thành lập thị trấn Mường Xén - thị trấn huyện lị huyện Kỳ Sơn - trên cơ sở 190 ha diện tích tự nhiên của xã Tà Cạ.

Ngày 19 tháng 8 năm 1985, Hội đồng Bộ trưởng ban hành Quyết định 222-HĐBT điều chỉnh địa giới hành chính một số xã, thị trấn của các huyện Kỳ Sơn, Hương Khê và Thạch Hà thuộc tỉnh Nghệ Tĩnh. Theo đó, hợp nhất xã Huồi Giảng và xã Hín Ngộn thành một xã lấy tên là xã Tây Sơn; chia xã Hữu Kiệm thành 2 xã lấy tên là Hữu Kiệm và xã Hữu Lập; chia xã Mường Típ thành 2 xã lấy tên là xã Mường Típ và xã Mường Ải.

Ngày 12 tháng 8 năm 1991, tái lập tỉnh Nghệ An từ tỉnh Nghệ Tĩnh cũ, huyện Kỳ Sơn trở lại thuộc tỉnh Nghệ An.